Predicting a Probability

Logistic Regression


로지스틱 회귀(logistic regression)는 선형 점수 z = β₀ + β₁x를 sigmoid(S자 함수)로 0과 1 사이의 확률 p(x)로 바꾸고, 임계값(threshold)을 적용해 예측 범주를 정한다.

sigmoid σ(z)1 / (1 + e⁻ᶻ)이며 실수를 (0, 1)로 바꾼다.
승산(odds)p / (1 − p)이며 로그 승산(log odds)은 선형 점수 z와 같다.
계수 β₁입력이 1 늘 때 로그 승산에 더해지고 승산에는 e^β₁을 곱한다.

선형 점수는 로그 승산이고, sigmoid가 그것을 확률로 바꾼다

β₀, β₁, 입력 x를 바꾸면 선형 점수 z, 승산 eᶻ, 확률 p(x)와 곡선 위의 위치가 함께 바뀐다.

로지스틱 곡선x에 따른 p(x)
가로축은 입력 x, 세로축은 확률 p(x)다. 파란 곡선은 σ(β₀ + β₁x), 회색 점선은 p = 0.5와 p = 1, 초록 점은 현재 입력의 확률이다.

β₁은 로그 승산을 더하고 승산을 곱하지만, 확률 변화는 위치에 따라 다르다

β₀ = −4, β₁ = 1로 고정하고 출발점 x를 바꾸면 x가 1 늘 때의 승산 비는 그대로이고 확률 변화량만 바뀐다.

두 행은 출발점 x와 x + 1이다. 마지막 행은 두 행의 차이 또는 비이며 초록 테두리 칸이 확률 변화량이다.